阅读更多、推理更深：长序列推荐的潜在工作空间
🧭 长序列推荐 · 解耦证据与推理缩放 ★ 深度解读
Meta MRS · Facebook Discovery
用持久化 typed banks 与固定大小 workspace 解耦证据/推理缩放，10K 历史下 NE +0.19%、前向 GFLOP -69.6%
📌 工作参考价值（4 点）
- 架构级解耦：把用户历史、请求上下文、相似事件等证据放入持久化 typed banks，仅让固定大小的候选 workspace 在层间传递。增加历史长度不影响每层状态，适合电商长行为序列排序。
- 每层 Query-Reread-Interact：workspace 先做 self-attn 生成 source-specific queries，再从 banks cross-attn 读取证据，最后与候选做 FM/deep-cross。深层可做候选相关的精读，而不是早期一次性筛选。
- condensate archive：非最终层压缩 post-interaction 状态写入 archive，后续层同时读原始证据和压缩后的中间决策。可用于多跳兴趣演化，避免遗漏早期证据。
- 算力分配：joint scaling 曲线给出在历史长度与推理深度间分配训练 compute 的评估方式；上线可追求同等质量但大幅降 GFLOP，10K 历史下前向 GFLOP 降低 69.6%。
DuTri：双分支建模与三阶分解的多模态多场景推荐
🧭 多场景多模态推荐 · 双分支三阶分解 ★ 深度解读
深圳大学 · 深圳技术大学
提出 DuTri 双分支框架，用 CP 分解和残差量化学习三元协同偏好，指导多模态自适应融合，在多场景推荐上取得最优。
📌 工作参考价值（4 点）
- 多场景多模态推荐不要简单把多模态特征拼进现有 MSR 骨干，可尝试双分支：协同分支专注 ID 交互建模，多模态分支处理内容语义，通过偏好表示桥接，避免参数共享架构在多模态下退化。
- 用 CP 分解建模用户-场景-物品三维交互，得到用户、场景、物品因子，作为跨场景共享和场景特异的表示，可替代简单的共享嵌入，迁移到多场景 CTR 模型。
- 残差量化（RQ）将连续偏好因子离散化，提升表示稳定性和泛化，类似于 Semantic ID 的思路，可用于工业推荐中对用户/场景/物品表示进行量化压缩。
- 对比学习对齐协同物品表示与多模态表示，使协同信号和内容信号互相增强，可借鉴到多模态推荐或图文相关性建模中，提升融合效果。
生成式推荐排序中的隐式残差推理
🧭 生成式推荐 · 隐式残差推理排序 ★ 深度解读
University of Science and Technology of China · Meituan · Renmin University of China · The Hong Kong Polytechnic University · Academy of Cyber
提出 Refiner 框架，用残差分数修正、历史查询和 LoRA 适配，在不重训基座的前提下增强生成式排序
📌 工作参考价值（4 点）
- 工程架构：对已部署排序模型做推理增强，不需要全量重训。冻结 base model，只加 LoRA 到 Transformer 和一个独立 reasoning prediction head；日级更新时加载最新 base checkpoint，同时继承上一日 Refiner 参数，只更新新增参数，适合渐进上线。
- 输入与 mask 设计：每个候选分配独立 reasoning token，autoregressive 地从上一轮 hidden state 提取；history queries 从用户行为序列尾部取 2-4 个位置作为全局上下文。候选 mask 必须保持候选间隔离，只允许访问自己的前序 reasoning token。
- 训练目标：残差修正 + MSE 监督累计分数，比每步用 BCE 重新预测完整分数更有效；推理步数 1-2 步性价比最高，更多步边际收益快速衰减。
- 业务收益：工业 A/B 在 PV-CTR +0.75%、GMV +0.46%，且对长历史用户、冷启动/低频 item 增益更明显；有类似困难样本的业务可优先尝试。
TransX 技术报告：面向推荐系统的序列转导规模化
🧭 序列转导推荐 · 模型-基础设施协同 ★ 深度解读
LinkedIn
提出 TransX 序列转导框架，将行为编码、记忆与候选融合解耦，通过摊销执行实现模型扩容而不等比增加在线成本
📌 工作参考价值（4 点）
- 商品/广告精排或召回中，候选集常达数百到上千，可借鉴 TransX 的共享行为记忆 + 候选条件融合：把用户长期行为压缩成 global-local memory，在线用 GQA 交叉注意力对候选做融合，避免每个候选都重算历史表示，显著降低在线 GPU 成本。
- 服务架构上，把用户行为编码从在线路径剥离，改为离线 bulk prefill + 近线增量 refresh，在线只消费不可变行为 memory KV 快照。适合电商推荐中用户行为更新频率远低于请求频率的场景，但需注意版本一致性、KV 量化与分层存储。
- 训练侧可复用多前缀共享一次编码 + blocked prefix scan + batched local gather：在长序列行为模型训练时，消除多个 event cutoff 的重复前缀编码，实测吞吐提升 84%，MFU 从 41% 提升到 57%，显存峰值下降约 44%，对大用户行为序列训练很有价值。
- 通过共享行为记忆接口进行多任务后训练（检索、排序、生成式推荐），避免为每个任务重新训练 backbone，适合业务中同时存在召回、精排和生成式推荐需求的团队降低维护成本。
ScalaRLens：面向 CTR 预测的稳定坐标与上下文响应数值嵌入
🧭 数值特征嵌入 · 坐标-响应解耦 ★ 深度解读
Ant Group · Independent Researcher · Alibaba Inc. · Henan Polytechnic University
将数值 embedding 解耦为稳定坐标与上下文响应，在 27 个 CTR 设置中 25 个排名第一
📌 工作参考价值（5 点）
- 可直接在现有 CTR 主线上以轻量模块替换数值 embedding 层，只输出 numerical token，不改 categorical token 和 backbone；坐标与响应分离后，上下文不会再重写数值的原始位置，适合需要审计数值特征不变量的业务场景。
- 抛弃线上/离线 normalization 同步，直接用原始数值尺度训练和推理，把 fitted ranges 和 mesh 存进 checkpoint，减少特征 pipeline 的存储、I/O 和一致性维护成本；在特征来源多、版本独立的电商/广告系统中尤其省事。
- 共享低秩 UV 算子 + field-specific gate/drive + 固定步数有界更新，推理额外开销仅约 13%，训练优化后延迟低于 DEER；工程上容易控制算力预算。
- 消融显示 categorical context 是可靠响应信号，numerical context 只是辅助；业务落地时可以优先只用类别特征做条件，降低复杂度，同时保留数值坐标的单调性和可解释性。
- 稀有上下文收益更大（Criteo rare 组 margin 0.0012–0.0016 vs common 0.0007），对长尾用户/低频场景有参考价值。
LLM 作为特征工程师用于文本与表格预测
🧭 LLM 自动化特征工程
Teads
迭代式 LLM 框架自动从文本提取可解释分类特征，并通过错误反馈将发现速度提升最高 3 倍
📌 工作参考价值（4 点）
- 借鉴 generator-LLM 与 extractor-LLM 的职责分离：一个负责提出语义特征定义（如商品目标人群、文案情感、新颖度），另一个负责从原始文本中具体抽取类别值。这种解耦便于在电商商品描述、广告创意、用户评论中批量生成结构化特征。
- 用下游模型显式错误（如 AUC 排序反转）作为自然语言反馈，指导 LLM 迭代修正特征。实际工程中可记录预测高置信但排序错误的样本对，转化为提示词让 LLM 聚焦于解决特定失败模式，避免盲目搜索。
- 生成的可解释类别特征与 TF-IDF、dense embeddings 存在强互补性，建议在线性/树模型中将三者同时作为输入，而非二选一。论文实验显示组合严格优于任何子集，可提升 CTR 模型的预测能力。
- SHAP 分析表明 LLM 提取的特征在重要性排名中占主导，适合需要审计和解释的广告投放、推荐排序场景，能为每个预测提供人可读的语义依据。
LazFormer：面向工业推荐的可迁移生成式预训练 Transformer 扩展
🧭 生成式预训练 + 排序 Transformer ★ 深度解读
Alibaba International Digital Commerce Group
用生成式预训练 + 残差适配器 + 非对称多 epoch 训练，实现工业推荐 Transformer 的参数与数据双扩展
📌 工作参考价值（4 点）
- 预训练与排序特征空间不一致时，用零初始化的残差适配器（类似 LoRA）注入排序特定特征，比直接拼接或额外投影更稳定，能避免稠密参数负迁移
- 长序列建模可保留最近 1k 细粒度 token + 更早历史按组求和池化；混合稀疏注意力中最近 128 个 token 设为全局 token，其余用滑动窗口，目标 item 只与历史交互且目标之间隔离，再逐层剪枝历史 token，可达到 92%+ 稀疏度和 5x 注意力加速，AUC 损失仅 0.1pt
- 多 epoch 训练时，每 epoch 把稀疏 embedding 重置回预训练状态、稠密参数持续累积，能避免稀疏过拟合，使数据规模扩展持续带来收益
- 同请求多个候选 item 共享一次用户历史序列编码，消除重复数据传输和编码开销，在线吞吐下降仅 12.1%，工程收益显著
UniCon：面向CTR预测的统一上下文中心建模范式
🧭 统一上下文建模 · CTR预测 ★ 深度解读
Meituan
将历史曝光列表与当前候选集统一为上下文单元，通过分层注意力建模上下文内局部性与跨上下文动态
📌 工作参考价值（4 点）
- 上下文单元抽象：在电商搜索/推荐中，把每次展示列表（共现商品、位置、环境信号）组织成一个上下文单元，而不是把行为序列展平。这能显式建模同一曝光内商品的竞争/互补关系，以及跨曝光的状态演化，对货架、瀑布流等强上下文场景特别有用。
- 历史与目标结构对齐：训练时历史曝光带点击标签，目标候选集用可学习占位符对齐，再通过曝光和绝对位置预测辅助任务将目标单元引导到真实展示分布。这套做法可以迁移到重排或生成式推荐中，让候选集表示更贴近最终展示情境。
- 目标感知的上下文压缩：在长历史序列中，每层用target-context的query-key相似度选择保留top-k个最相关的历史上下文单元，大幅降低attention计算量而几乎不损失精度（压缩比0.5时计算减少75.4%，AUC仅降0.0001）。这对长序列用户建模很有借鉴价值。
- 工程化细节：padding-free变长注意力、segment offsets表示上下文边界、AOT编译和融合算子，以及候选分片策略（固定300个候选一个分片），这些是让高计算量上下文模型上线可行的关键。训练和推理使用一致的分片规则也很重要。
HubMixer：推荐系统中渐进式潜在 Hub 混合的参数高效特征交互
🧭 参数高效特征交互 · 潜在 Hub 混合 ★ 深度解读
Kuaishou Technology · Tsinghua University
用少量可学习 latent hubs 组织异构特征交互，参数更少、AUC 更高
📌 工作参考价值（4 点）
- 在已 token 化的精排模型里，若不想对全量 token 做 O(T^2) 交互，可引入 H 个可学习 hubs（H<<T）做 induction→hub self-attention→token readout，计算降到 O(TH)，适合电商/广告 ranking 做参数受控升级。
- 保留 token 级 field identity：不要将交互后的 hubs 池化成全局向量广播；用 token-conditioned cross-attention readout + LayerScale 残差写回，多任务各目标能按需取不同交互语义，避免全局坍缩。
- 静态 learnable hubs 加一个由 mean-pool token 生成的输入条件残差，成本低但能让 hub 随样本软路由；T=32 时 H=16 是精度/参数甜点，再多收益饱和，可作为默认配置参考。
- cross-attention 在 H<<T 时是小矩阵计算，批处理友好、便于 kernel fusion，适合在已有 token-mixing 排序模型上做轻量替换并上线验证深度转化目标。
电商场景点击率预测的原生多模态表示学习
🧭 多模态表示与 CTR 预测对齐 ★ 深度解读
Taobao & Tmall Group of Alibaba · University of Science and Technology of China
提出 Mine-Then-Train：从 CTR 数据挖掘可解释三元组微调多模态编码器，在线 CTR 提升 1.5%
📌 工作参考价值（4 点）
- 不要盲目对强预训练多模态编码器与 ID CTR 模型做端到端联合训练：梯度不一致且成本高；先在数据层过滤噪声、挖掘干净监督更有效。
- 用 annotation model 捕捉 CTR 增量信号：SID Decode Codebook 零初始化 + 残差结构，能保留预训练语义不退化，同时学习点击偏好。
- 三元组筛选可复用：SCL 相似度差距小但 annotation score margin 大的样本，对应语义相似但用户偏好排序不同的 hard cases，适合微调 encoder。
- 多模态表示集成到 CTR 模型有两条路径：similarity-based（SimTier/SA-TA）和 direct fusion；NMRL 改进可即插即用，无需改动其他模块。
触发式推荐CTR预估的级联相关性驱动网络
🧭 触发式推荐 · 相关性与兴趣融合 ★ 深度解读
Taobao & Tmall Group of Alibaba
提出CRRN，通过trigger-target交互门控、级联注意力融合与类别辅助pairwise loss，在TIR场景显著提升CTR
📌 工作参考价值（4 点）
- 在承接页/详情页相似推荐中，不要把trigger当作普通特征；用element-wise乘法+coaction门控做显式交互，参数量小、工程友好，能捕捉同类别/品牌/价格段等高阶关系。
- 引入类别辅助pairwise loss：利用商品类别构造“相关点击 > 非相关点击 > 相关曝光 > 非相关曝光”的偏序，不用额外数据就能强化相关性排序，适合电商商品/广告场景。
- 意图预测辅助任务：用页面级类别与trigger是否一致作为label，训练时辅助监督，线上不引入额外特征和延迟；同时用预测意图分和cosine相似度做显式门控融合，可解释且便于调试。
- 工程上该模型额外增加2ms推理延迟，训练时间增加约7分钟，适合低延迟承接页；在线统计显示同类+相关类占比大幅提升但保留约11%不同类，可作为相关性/个性化平衡的参考阈值。
PriCoRec：特征约束下隐私感知的云-端协同广告推荐框架
🧭 隐私感知云-端协同排序 ★ 深度解读
University College Dublin · Huawei Ireland Research Center
提出隐私感知云-端协同广告推荐框架，敏感特征留在端侧，以云预排序多样性正则和云指导轻量端模型兼顾效果与效率
📌 工作参考价值（4 点）
- 在隐私合规限制下无法云端使用用户画像时，可采用云-端分离级联：云端只用上下文/物品特征做粗排，端侧用完整敏感特征做精排；既满足数据不出端，又保留个性化能力。
- 粗排候选集质量直接决定端侧精排上限。可借鉴 DPP log-det 正则，在粗排训练损失中加入多样性项，缓解因特征受限导致的候选同质化；λ 建议 1e-3~1e-2，按验证集调节，可提升 Recall@100。
- 端侧模型不必复现云端大模型，可将云端粗排输出的相关性 logit 作为辅助特征输入端侧模型；端侧 embedding 维度 4、两层 PNN 即可取得显著提升，配合 FP16 存储和词表重映射能把模型控制在 7.7–29.4MB，推理延迟约 0.5–0.8ms。
- 训练粗排模型时，1:4 随机负采样 + BPR 成对损失是稳定有效的基础配置；若业务中用户敏感特征无法上云，可先按此框架拆分粗排和精排，再迭代优化多样性正则强度。
PaletteID：基于原型组合的语义ID用于多模态CTR预测
🧭 语义ID · 原型组合 · 多模态CTR ★ 深度解读
华中科技大学 · 华中师范大学
用原型选择替代量化编码，保留连续相似性信号，提升CTR预测和长尾表现
📌 工作参考价值（4 点）
- 用真实物品作为语义锚点（原型）替代抽象码本：PID 直接从物品池中选出代表物品构成原型调色板，每个 token 都有具体物品可追溯，增强了可解释性，也避免了码本分配中的语义损失。在电商场景中，可以直接将高曝光、多内容的优质商品作为原型，赋予更强的业务语义。
- 软聚合保留连续相似性，避免硬量化：通过 top-K 原型相似度加权聚合（sigmoid 门控），保留了多模态嵌入空间的细粒度相似性，比 RQ-VAE 等硬分配方式对长尾物品更友好。可借鉴到已有的 Semantic ID 方案中，将硬编码改为软检索-聚合，尤其适合提升冷启动物品的表征质量。
- SQ-DPP 原型选择兼顾多样性和代表性：使用质量感知的 DPP 从全量物品中选出一组既覆盖语义空间又避免过于孤立的原型，平衡了长尾覆盖和高频语义区域的准确度。在推荐系统的特征工程或表示学习阶段，可复用这种建库思路，构造更具泛化性的基础语义单元。
- 离线原型检索，在线仅需查表聚合，极易部署：PID 序列和相似度分数全部离线预计算并存入特征存储，在线推理只需 K 次 embedding 查表、一次线性变换和加权求和，计算开销极低，可直接插入现有 CTR 模型（如 DeepFM、DCNv2、DIN）作为新特征。
SpecFormer：通过谱感知Transformer缓解推荐中的嵌入与注意力坍缩
🧭 谱感知Transformer · 特征交互坍缩缓解 ★ 深度解读
Zhejiang University · Alibaba Group
揭示推荐数据异质长尾引发谱坍缩恶性循环，用动态谱软化与谱感知注意力打破瓶颈
📌 工作参考价值（5 点）
- 谱软化模块可迁移至任何Transformer特征交互模型：用可学习的幂律变换 (τ ∈ (0,1)) 动态压平奇异值分布，抑制主成分、激活长尾特征。此trick可直接插入现有推荐Transformer或LLM4Rec的注意力层前，成本低。
- Q/K用软化嵌入、V用原始嵌入的分离设计：实验证实，V用软化嵌入会扭曲语义、导致信息丢失。在工业级特征交互中，保留原始V可稳定聚合，软化Q/K则引导多样化的注意力模式，是简单有效的工程选择。
- 基于Taylor展开的谱残差偏置：用归一化奇异值的二阶多项式构造结构化偏置加回注意力得分，既补偿软化对主成分的压制，又为模型提供明确的谱感知归纳偏置。可抽象为一种增强Transformer表达能力的通用位置编码技巧。
- 两阶段训练稳定SVD模块：先用空间残差项预热5%数据，再开启主CTR训练。该策略解决了随机初始化下奇异值分布病态导致的数值不稳定，对有SVD/谱变换的模型尤其关键。
- 深度可扩展性与在线部署：9层SpecFormer注意力有效秩持续上升、AUC递增，而标准Transformer急剧坍缩。在线A/B中仅+5ms延迟换得CTR +1.34%、订单+16.72%，证明工业级极低成本获得显著收益。
LO-FAR：面向工业广告推荐的稀疏特征成本感知局部过滤
🧭 稀疏特征选择 · 工业广告推荐 ★ 深度解读
Meta Platforms, Inc.
仅用CPU的局部过滤方法独立评估稀疏特征预测信号，实现低成本快速排序并保持下游CTR/CVR竞争力
📌 工作参考价值（4 点）
- 低成本快速特征筛选流水线：仅用 CPU 即可在 2 小时内完成数百个稀疏特征的排序，适合嵌入到日常迭代中，避免与训练抢 GPU 资源。
- 独立并行化设计：每个特征独立打分、易于并行，适合拥有大量稀疏特征池的电商/广告团队快速收敛候选特征集。
- 两阶段筛选策略：可先用 LO-FAR 快速剔除大量低信号特征，再对保留的特征用更昂贵的交互感知方法（如 BSN）做精细选择，兼顾成本与效果。
- 直接控制存储与参数规模：通过特征预算直接决定嵌入表数量，实现 40%~75% 的稀疏存储压缩，降低训练和推理的内存压力。
RAMP：掩码对齐路径实现有限个性化特征下的鲁棒广告推荐
🧭 隐私受限 · 蒸馏对齐 ★ 深度解读
University College Dublin · Huawei Ireland Research Center
用双塔输出掩码分离个性/非个性化监督，配合蒸馏对齐路径，在隐私受限下提升 CTR/CVR 预测
📌 工作参考价值（4 点）
- 双塔掩码策略可直接复用：用一个共享嵌入层 + 两个独立塔，输出时依流量类型（个性化/非个性化）掩码，使两塔分别专精不同特征域，减少负迁移。在现有 CTR/CVR 模型中容易嫁接，无需改变输入结构。
- 蒸馏对齐实现“特权特征”训练：训练时利用额外完整特征通路（个性化通路）指导仅用非个性化特征的通路，推理时只用轻量通路。在电商/广告中，可类似地将高权限特征（如用户历史）作为教师，引导受限特征模型，不增加线上耗时。
- 非个性化路径训练即丢弃：对齐模块仅在训练期激活，线上推理只保留已对齐的双塔组件，零额外推理成本。适合在线广告系统对延迟敏感的场景。
- 距离损失权重需细粒度搜索：实验中损失权重与性能呈倒U关系，建议用粗到细网格搜索确定最优值，避免过度对齐拖累主任务。
TMallGS：面向生成式电商搜索的统一特征与序列建模扩展
🧭 搜索排序 · 计算密集型架构扩展 ★ 深度解读
Southeast University · Taobao & Tmall Group of Alibaba · Peking University
通过解耦语义交互与信号保留的Transformer架构，首次在搜索排序中实现Scaling Law并带来显著GMV提升
📌 工作参考价值（4 点）
- 分层tokenization平衡异构特征：利用Field-wise Saliency Reweighting（FSR）做全局裁剪，再用Distribution-Calibrated Projection（DCP）以校准Swish替代SwiGLU，在降低33% FLOPs的同时保持精度，适合电商搜索中大量稀疏ID与稠密统计特征的混合输入。
- 解耦晚期融合保留强匹配信号：将Q2I匹配分等显式交叉特征通过FiLM作为调制信号，而非直接输入注意力流，避免深层Transformer过度平滑，可直接迁移至需精准相关性匹配的排序场景（如广告、搜索重排）。
- Error-Aware Progressive Training：用浅层预测误差为深层样本动态加权，实现自适应课程学习，改善稀疏反馈下深层网络的梯度消失；可将该策略应用于任何深层排序模型的训练，提升收敛速度和排序指标。
- Context-Aware Bias Net正交化解耦偏差：用全局上下文锚点的深层编码学习位置/页面等偏差，与主语义logit加法融合，在pairwise loss中自动抵消，确保GAUC优化不被全局点击先验干扰，适用于所有需在请求内做相对排序的工业系统。
用于实时广告排序的长历史用户Transformer
🧭 序列推荐 · 离线-在线分离架构 ★ 深度解读
Yandex · Applied AI Institute
异步离线编码全量历史+轻量在线编码近期事件，在实时广告排序中恢复72–80%全历史模型质量，生产指标提升超2%
📌 工作参考价值（5 点）
- 离线-在线分裂架构可迁移：对于用户长行为序列建模的延迟瓶颈，可借鉴“离线大模型编码全量历史生成固定向量并缓存，在线轻量模型仅处理最近事件”的模式，适用于电商搜索/推荐/广告的精排或重排阶段。
- 训练时模拟特征滞后：在训练中人为引入两天的数据截止，使模型适应生产环境中用户Embedding的更新延迟，能防止在线效果退化；电商特征存储同样存在更新延迟，可直接复用这一策略。
- 接收域设计与延迟权衡：在线编码器使用窗口注意力，总接收域 = 层数 × 窗口大小，通过调节层数和窗口宽能在质量和延迟之间做显式权衡；电商场景可按延迟预算配置在线序列长度。
- 多表面预训练 + 单表面微调：利用跨场景（搜索、推荐、广告）交互日志做自回归预训练（CTR预测+下一事件检索），再针对目标场景微调，能显著提升目标场景效果；电商多业务线（如首页推荐、搜索、促销页）可复用该迁移学习范式。
- 位置去偏技巧：训练时输入真实历史位置，推理时固定位置为1来预测位置无关CTR，可减少位置偏差，提升排序校准度；电商排序模型同样受位置偏差影响，可直接采用。
多数解释是一组正确解释的集合——用 LLM 代理工作流探索 Rashomon 解释集
🧭 LLM 代理生成解释 · Rashomon 解释集 ★ 深度解读
Scheller College of Business, Georgia Tech
将解释与预测耦合，通过 LLM 代理的“解释-预测-反思”循环生成多个忠实且有用的解释，在提升可解释性的同时提高了预测精度。
📌 工作参考价值（4 点）
- 生成解释集合而非单一解释：在电商推荐中，单一解释（如 SHAP 值）在分布偏移下容易失效，可以借鉴本工作的思路，对同一个物品/用户生成多组不同的解释（通过调整 prompt、特征子集采样），再用多数投票或语义聚合得到更稳健的解释，提升推荐理由的鲁棒性。
- 解释-预测-反思迭代循环：将解释生成与预测任务耦合，让解释 agent 根据预测误差自动修正解释内容（double-loop learning）。在广告 CTR 预估或搜索排序中，可仿照这个结构：一个 LLM 代理生成影响点击的因素解释，另一个代理基于解释做预测，反思代理根据错误修正解释——这种自改进循环可同步提升解释质量和模型效果。
- 将自然语言解释作为预测的输入特征：实验证实向预测模型提供高质量解释（即使是带噪声的解释）能显著降低误差。在推荐系统中，可以尝试将 LLM 生成的用户行为解释（如“用户在午后对低价商品点击率高”）作为特征加入深度模型或 LLM 预测器中，可能带来增益。
- 批处理 LLM 学习机制：针对大规模日志，通过数据分 batch 和设置哨兵行（data monitor）来防止长上下文退化，这为在十亿级推荐曝光日志上用 LLM 做解释和预测提供了工程参考。
超越正信号：释放隐式负向行为以增强序列用户建模
🧭 隐式负反馈融入行为序列建模 ★ 深度解读
Tencent Inc.
在CTR行为序列中按时间交错正负行为，用极轻量的极性感知校准即可让多种架构一致提升1.9%–9.6% AUC
📌 工作参考价值（4 点）
- 序列构建零成本升级：将用户曝光但未点击/快速划过/低完播的隐式负向行为直接作为普通token，与正向行为按时间戳交错，保持序列长度不变，推理成本零增加，即可在现有模型上获得明显收益。适用于广告、电商、信息流等场景。
- 极性编码即可获得大部分增益：最简单的极性偏置嵌入（PBE）已能解锁混合序列的主要价值，只需为每条行为增加一个可学习的极性embedding，适合快速上线验证。
- TAPF作为轻量级增强：若资源允许，可进一步使用目标感知极性融合（TAPF），通过在注意力前增加目标相关的门控残差，重平衡正负token的注意力分配（如从75%:25%调整到59%:41%），带来额外0.3%–0.8% AUC提升，且仅增加线性层和元素级运算，对在线时延影响小。
- 数据质量管理：负向行为必须是真实且近期的，随机采样或错误极性标签会严重退化效果；建议按实效性排序采样，避免远历史负信号。在低活跃用户或冷启动商品上，混合序列的增益更大，可重点在此类群体应用。
原子意图推理：将 LLM 语义引入工业跨域推荐
🧭 跨域推荐 · LLM 意图缓存与检索 ★ 深度解读
The Hong Kong Polytechnic University · Kuaishou Technology
离线将用户行为拆解为原子意图并缓存，在线动态组合实现 LLM 级语义推理，延迟仅 20ms
📌 工作参考价值（4 点）
- 离线 LLM 意图预计算 + 在线轻量聚合：把昂贵的大模型推理完全移到离线阶段，将用户事件转化为可检索的原子意图对（action-intent pair），在线仅做 KV 检索和树合并。在电商/内容平台的跨域推荐中，可以直接复用这种“离线语义提炼、在线实时组合”的范式，突破 LLM 在线推理的延迟瓶颈，同时保持语义信号。
- 层次用户意图树的构建与多行为权重：用意图树组织 coarse-to-fine 的偏好，节点权重融合 click/order/view 等多种行为计数并引入时间衰减。在自己的业务中，可以借鉴这种多行为强度加权与时效性折损的统一方案，有效压缩超长、异构行为序列，避免喂入原始全量序列的噪声与计算开销。
- 目标感知的意图检索与证据压缩：根据候选商品 embedding 从意图树中检索相关链，再按语义相似度和时间有效性裁剪支持证据序列，输出一个紧凑的“意图链+行为证据”作为 CTR 模型输入。在重排或精排环节，这可以提供高度目标相关的精简特征，代替手工构造的跨域行为序列特征，提升预测效果。
- 多注意力融合意图表示：将检索到的意图链 token 以 MHA 方式与目标商品 embedding 交互，不同 head 捕捉不同粒度的偏好。可以作为排序模型中一个可插拔的目标感知用户表示模块，插入到现有的 DNN 排序塔中，只需增加较小的计算量。
DeRes：解耦残差稳定性与自适应性的高效 CTR 预估
🧭 CTR 预估 · 残差连接 · 双路径架构 ★ 深度解读
双路径残差解耦稳定性与自适应，点式 SiLU 注意力支持多兴趣并行，得到更优 AUC 和更陡缩放律
📌 工作参考价值（4 点）
- 双路径残差设计：保留恒等跳跃连接保证梯度流和低阶特征复用，同时增加块注意力路径提取跨层高阶信号；电商推荐中特征异构性强，可照搬此解耦方式，避免深层 Transformer 的信号稀释。
- 点式注意力（Pointwise AttnRes）用 SiLU 替代 Softmax：打破跨层注意力的零和竞争，支持多兴趣同时激活并提供负权遗忘；适用于多兴趣用户建模（如 DIN 升级），可推广到序列推荐中的跨层特征聚合。
- 向量级门控融合：每个隐藏维度独立决定两路径权重，比标量门控更精细；可借鉴到多路特征融合场景，实现维度级别的自适应路由。
- 缩放律优化：在同等 FLOPs 下获得更高 AUC，8 层模型即达到 16 层 OneTrans 性能，计算节省约 2 倍；工业部署时可用更浅的网络达到同等效果，直接降低推理成本。
双流 MLP：CTR 预测的极简高效方案
🧭 CTR 预测 · 特征交互 · 知识蒸馏
Gaoling School of Artificial Intelligence, Renmin University of China · ByteDance · Meituan
用知识蒸馏将显式特征交互能力压缩至主 MLP，辅以并行隐式 MLP 并通过双重对齐训练，达到 SOTA 且部署简单。
📌 工作参考价值（4 点）
- 轻量部署：线上推理只使用一个简单 MLP，但知识蒸馏可以把复杂显式交互模型（如 DCN、xDeepFM）的能力注入其中，适合大规模推荐系统对延迟敏感的场景。
- 双流互补设计：保留一个并行的隐式交互 MLP 作为辅助训练分支，缓解显式模块可能过拟合或主导预测的问题，训练后丢弃，不影响推理成本。
- 特征与 logit 双重对齐：引入隐式/显式特征表示对齐损失和最终预测 logit 对齐损失，有效平衡两个分支，防止辅助分支退化或主分支被干扰，该对齐策略可迁移到多路模型融合。
- 即插即用的蒸馏范式：DS-MLP 可作为通用 CTR 模型的压缩框架，将任意复杂 teacher 的交互知识迁移到极简 MLP，适合在电商广告、推荐系统中进行模型轻量化。
面向CTR预测的选择性测试时计算缩放：不确定性触发特征路径探索
🧭 测试时优化 · CTR预测 · 不确定性估计 ★ 深度解读
Alibaba Group
提出训练无关、模型无关的测试时框架UTTSI，根据样本不确定性自适应分配多路径探索，显著提升CTR预测性能
📌 工作参考价值（4 点）
- 不确定性感知的推理预算分配：在电商推荐中，用户/物品交互稀疏导致部分样本预测不可靠。UTTSI 通过 Count-Min Sketch 统计特征频率作为先验，结合模型 logit 置信度（或梯度属性）计算样本不确定性，从而为高不确定性样本投入额外计算，低不确定性样本快速通过。该方法无需修改模型，可轻量植入现有线上服务，尤其适合特征稀疏的业务。
- 多路径特征探索与一致性加权：对高不确定性样本，基于频率和属性分数随机采样生成多个特征子集，并行做多次前向预测，再用一致性加权聚合，可平均化噪声、提升鲁棒性。工程上可将多个子路径预测部署在并行 worker 上，保持单次前向延迟不变，适合有GPU平算资源的在线推理。
- 自适应特征过滤：通过离线计算每个特征场的可靠性阈值（分位数），推理时过滤低可靠性特征（频率+属性双低），简单有效。可单独作为一种特征去噪 trick 应用于生成式推荐或 Agent 的输入预处理，在保证高置信度特征的同时抑制噪声。
- 测试时计算缩放的范式迁移：本工作表明，即使不改变模型结构和训练流程，仅在推理时按需分配计算，也能带来可观的线上收益（A/B CTR 相对提升 5.3%）。对于有严格延迟要求但有额外算力的电商推荐系统，可以借鉴这种“推理时计算预算分配”思想，对低置信度请求进行多路召回或额外特征融合，而不影响基础链路。
面向异质性特征生成的自平衡梯度分配，用于CTR预测
🧭 生成式推荐 · 异质性特征生成 · 难度感知 ★ 深度解读
Alibaba Group
提出统一可学习难度信号，同时驱动自平衡损失和难度引导注意力，解决生成式CTR中不同字段重建难度不均衡问题。
📌 工作参考价值（4 点）
- 自平衡损失加权：将每个特征字段视为独立任务，借鉴多任务同方差不确定性加权，损失设为 exp(-s)*loss + s/2，无需手工调权，自动将更多梯度分配给高基数ID、序列等难重建字段，冷启动受益明显。
- 难度引导注意力调制：在HSTU去噪网络中，用 exp(-s/2) 缩放查询向量，抑制收敛后字段的注意力，增强困难字段的信息聚合，与损失加权使用同一 s 信号，保持一致性。
- 统一难度信号：仅需学习每个字段一个标量 s_i，零额外超参数，与现有生成式预训练框架（如 DGenCTR）无缝集成，离线预训练开销极低。
- 冷启动与长尾增益：该方法对稀疏用户和长尾物品提升更大，生产环境中可针对这些分段部署，获得显著业务指标提升（在线 A/B 冷启动用户 CTR +9.2%）。
扩多缩少：塑造推荐模型稠密扩展的有效秩动态
🧭 深度推荐模型缩放 · 有效秩动态调控 ★ 深度解读
The Hong Kong University of Science and Technology (Guangzhou) · Tencent Inc.
通过参数化全混合与GLU-PFFN缓解RankMixer嵌入坍塌，提升稠密扩展性能
📌 工作参考价值（4 点）
- 替换 RankMixer 的 token mixing：将固定的块转置换操作改为可学习的 Parameterized Full Mixing（对 flatten 后的 token 向量做稠密线性变换加残差），能显著提升有效秩与交互细粒度，在电商推荐中可直接迁移。
- GLU 风格 P-FFN 防坍缩：用 GLU（门控线性单元）替代原 GELU 型 P-FFN，即 (GELU(MW1) ⊙ (MW2))W3 + M Wr，统计上可抑制有效秩收缩，实现“收缩少”。
- 两个模块协同使用：实验表明两者互补，单独使用增益有限，同时替换才能获得最大性能提升，是工程改造的可靠方案。
- 有效秩监控诊断：跟踪各层有效秩分布，可快速发现嵌入坍塌风险，指导模型架构调整。
面向长尾推荐的生成式语义ID非对称知识迁移框架
🧭 长尾推荐 · 生成式语义ID ★ 深度解读
Alibaba Group · Beijing University
用MLLM生成语义ID并聚类，以非对称对比学习从头部向尾部迁移知识，在线CTR+2.76%、GMV+3.47%
📌 工作参考价值（4 点）
- 用语义ID实现软聚类，而不是硬分组：通过RQ-VAE离散化MLLM嵌入生成层次语义ID，控制高碰撞率让相似物品/用户共享ID，形成自然语义簇。可借鉴到商品库冷启动与长尾物料分组，替代人工构建的统计分组。
- 非对称对比学习防止噪声污染头部：在簇内对比中，头部嵌入作为teacher，尾部嵌入作为student，使用stop-gradient + 非对称权重，让知识从头部流向尾部而不反向。推荐系统里任何“用头部经验辅助尾部”的场景（如新广告、新活动）都可复用这一模式。
- 活动感知门控动态融合簇表示与个体表示：将ID嵌入分解为簇级共享部分和个体特有部分，并用用户/物品交互活跃度特征学习融合权重。对于低活跃用户或曝光极少的新品，模型自动更依赖簇表示，从而缓解稀疏问题；在通用推荐模型中可视为一种动态冷热分离策略。
- 簇级与实例级双视图特征聚合：同时保留细粒度交互历史和簇粒度统计特征，并通过另一个活动感知门控自适应融合。工程上，簇级特征通过top-level语义ID做硬检索以控制在线耗时，值得迁移到需要“类似人群/商品群体”信息做特征增强的场景。
生成式长期用户兴趣建模用于点击率预估
🧭 生成式长期用户兴趣建模 ★ 深度解读
MeiTuan
提出生成式长期兴趣模型GenLI，用目标无关的生成分布代替目标中心检索，实现兴趣多样性和效率提升
📌 工作参考价值（4 点）
- 生成式兴趣分布替代目标中心检索：业务中可借鉴IGM思想，用近期行为生成多类兴趣向量（显式、隐式、相对），再通过哈希查表选择长期行为，避免每次请求都与全量行为做相似度计算，大幅降低线上延迟。
- 多兴趣分布设计提升推荐多样性：显式/隐式/相对三种分布的监督信号（点击行为、曝光行为、差值）可迁移到电商推荐或广告中，帮助显式刻画短期、隐式刻画长期、相对趋势捕捉兴趣变化，增强召回或排序阶段的多样性。
- 行为检索的O(1)查分方式：将离散兴趣分布与行为ID取模后直接查概率，可作为轻量级GSU部署，尤其适合物料数海量、行为序列超长的场景，比SIM/ETA的复杂哈希或内积更省资源。
- 端到端可插拔框架：GenLI作为即插即用的长期兴趣模块，可嵌入现有CTR模型，工程上只需在损失函数中加入显式/隐式兴趣辅助损失（标签来自点击或曝光项），线上部署改动小，A/B测试证实RPM提升1.5%+。